Your Benchmark Is an Empirical Measure Over Difficulty
你的基准本质上是难度的经验测度
🧭 基准评估 · 难度分布诊断
University of Illinois Urbana-Champaign · University of California San Diego · New York University
从测度视角揭示基准评估两大失败模式：难度分布错配与覆盖空洞，并提出诊断指标及 BenchFill 重写算法
📌 工作参考价值（4 点）
- 评估集构建前先做难度分布审计：用 IRT 或模型正确率估计每个样本难度，检查是否过度集中在简单/中等区域，避免排行榜结论被难度分布带偏。
- 针对电商 query 推荐、搜索改写、商品文案生成等任务的评测集，可按目标难度分层采样或主动补齐高难度样本，否则模型在困难 query 上的提升无法被评测捕捉。
- 训练过程中用难度分桶监控不同区间的指标变化，而不是只看整体均值，便于定位模型是全局提升还是只在易样本上过拟合。
- BenchFill 的难度定向重写思路可直接迁移：给定一批种子样本，用 LLM 按目标难度生成同语义变体，低成本扩充评测集覆盖缺口，适合快速构建分层测试集。